HLM의 이론

HLM을 통해 해결가능한 연구문제 examples (강상진, 2016)

1. 우리나라 중학생 수학성취도의 학교 간 교육격차는 어느정도인가?  
2. 중학교 학생들의 수학성취도는 동일 학교 내에서 어느정도 차이가 있는가?  
3. 학생들 사이의 수학성취도 차이에서 몇 \(\%\)가 소속학교의 영향인가?  
4. 학생들의 수학성취도는 개인차 요인의 영향을 더 많이 받는가 아니면 학교차 요인의 영향을 더 많이 받는가?  
5. 저소득층 학생비율이 높은 학교의 학생들은 수학성취도에서 어느정도의 불이익을 받는가?  
6. 학생 가정의 SES는 수학성취도와 어느정도 관련이 있는가?  
7. 학생가정의 SES를 통제한 이후엥도, 학교별 고정평균 수학성취도는 여전히 학교간에 차이가 있는가?  
8. 가정의 SES가 수학성취도에 미치는 효과는 모든 학교에서 유사한가? 만일 학교에 따라 다르다면 그 크기는 어느 정도인가?  
9. 학생의 가정배경을 통제한 이후에 어떠한 특성의 중학교에서 평균 수학성취도가 높은가?  
10. 학생들의 수학성취도가 가정환경에 영향을 받는 정도는 어떤 특성의 학교에서 더 커지는가?

Data 설명: High School and Beyond (HS&B)

Data Merge: dplyr package - joins

• dplyr join 함수들의 유형

  • left_join(right_join): Join matching rows from y to x (x to y)

  • full_join: Join data. Retain all values, all rows

  • inner_join: Join data. Retain only rows in both sets

  • semi_join: All rows in a that have a match in b

  • anti_join: All rows in a that do not have a match in b

• Join 함수의 구조

left_join(
  x, # Level 1 data-set name
  y, # Level 2 data-set name
  by = c("id_x" = "id_y"), # 각각의 데이터 셋에서 어떤 변수를 기준으로 merge되는지 설정
  copy = FALSE, # 가만히 두기
  suffix = c(".x", ".y"), # 만약 id 이외에 서로 겹치는 변수가 있을때 어느 데이터셋인지
  ..., 
  keep = FALSE # 가만히 두기
)

Data Merge: data_lv1 and data_lv2

Pipe Operator: %>%

• (lhs %>% rhs)는 lhs의 결과를 rhs의 첫번째 변수로 넘겨주는 역할. '.'은 앞의 값의 위치를 구체적으로 지정하기 위해 사용
  • x %>% f is equivalent to f(x)
  • x %>% f(y) is equivalent to f(x, y)
  • x %>% f(y, .) is equivalent to f(y, x)

data_lv1와 data_lv2 데이터 병합

data_merged <- data_lv1 %>% 
  left_join(data_lv2, by = "id")
head(data_merged, 5)

Five models in HLM (Bryk & Raudenbush, 1992)

Model 0. Preliminary Analysis

One-Way ANOVA 집단수준의 Mean Squares들의 값과 개인수준의 Mean Squares들의 값을 비교함을 통해서, 개인수준의 변량대비 집단 수준의 변량 비교

\(\rightarrow\) 쉽게 말해 집단간 모평균(여기서는 수학성취도)이 서로 다른가? 수준효과가 존재하는가?

\[ SST = SSA + SSE \quad \sum_{i=1}^a\sum^r_{j=1}(Y_{ij} - \bar{Y})^2 = \sum^a_{i=1} r(\bar{Y_{i.}}-\bar{Y})^2 + \sum_{i=1}^a\sum^r_{j=1}(Y_{ij} - \bar{Y_{i.}})^2 \]

• SSA (sum of squares of treatment): 집단변량 제곱합 - 집단수준 변동

• SSE (sum of squares of error): 오차제곱합 - 집단 내 변동

• 집단간 평균 차이가 존재할 때 HLM의 가장 최소한의 근거가 됨

model1 <-  aov(mathach~id, data=data_merged)
anova(model1)

Model 1. One-way ANOVA

• Level 1: \(Y_{ij} = \beta_{0j} + \epsilon_{ij} \quad \epsilon_{ij}\sim N(0,\sigma^2)\)

• Level 2: \(\beta_{0j} = \gamma_{00} + u_{0j} , \quad u_{0j} \sim N(0,\tau_{00})\)

• 급간상관계수와 신뢰도 계산이 주 목적으로 모형에 아무런 predictor variable들이 투입되지 않음  

model1 <- lmer(mathach ~ 1 + (1 | id), data=data_merged)
summary(model1)

Linear mixed model fit by REML. t-tests use Satterthwaite's method [
lmerModLmerTest]
Formula: mathach ~ 1 + (1 | id)
   Data: data_merged

REML criterion at convergence: 47116.8

Scaled residuals: 
    Min      1Q  Median      3Q     Max 
-3.0631 -0.7539  0.0267  0.7606  2.7426 

Random effects:
 Groups   Name        Variance Std.Dev.
 id       (Intercept)  8.614   2.935   
 Residual             39.148   6.257   
Number of obs: 7185, groups:  id, 160

Fixed effects:
            Estimate Std. Error       df t value Pr(>|t|)    
(Intercept)  12.6370     0.2444 156.6473   51.71   <2e-16 ***
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Model 1. One-way ANOVA: Model Fit

HLM_summary(model1,test.rand = T, digits = 3)

Model 1. One-way ANOVA: 계수해석

HLM_summary(model1,test.rand = T, digits = 3)

Model 1. One-way ANOVA: ICC

HLM_ICC_rWG(data_merged, group="id", icc.var="mathach")

------ Sample Size Information ------

Level 1: N = 7185 observations ("mathach")
Level 2: K = 160 groups ("id")

       n (group sizes)
Min.          14.00000
Median        47.00000
Mean          44.90625
Max.          67.00000

------ ICC(1), ICC(2), and rWG ------

ICC variable: "mathach"

ICC(1) = 0.180 (non-independence of data)
ICC(2) = 0.901 (reliability of group means)

rWG variable: "mathach"

rWG (within-group agreement for single-item measures)
─────────────────────────────────────────────
      Min. 1st Qu. Median  Mean 3rd Qu.  Max.
─────────────────────────────────────────────
rWG  0.000   0.270  0.381 0.386   0.515 0.806
─────────────────────────────────────────────

Model 1. One-way ANOVA: ICC (Cont’d)

Model 1. One-way ANOVA: ICC (Cont’d)

Model 3. One-Way ANCOVA

• Model 3. One-Way ANCOVA는 Random intercept model로 불리기도 함.

• ANOVA의 경우, average or expected outcomes among groups (level-2 units) 이외에 관심이 없을 때는 유용함. 그러나, Level 1 독립변수들이 종속변수와 Level 2에 상관되어 있는데 Level 1의 독립변수를 모형에 포함하지 않으면 L-2 의 효과를 편파적으로 추정 \(\rightarrow\) ANCOVA필요

• 예를 들어, 교육연한이나 일 경험은 임금수준에 긍정적 효과를 주는 것으로 알려져 있는데 특정 업무를 하는 사람들 중에서 남자들이 교육연한이나 일경험에 대한 변수 값이 더 높을 때 그 업무에 종사하는 여자와 남자의 평균임금수준에 대한 비교분석 결과는 교육연한이나 일 경험을 통제했는지 여부에 달려있게 될 것

• One-Way ANCOVA는 level 1 독립변수를 투입하고, 기울기를 fixed하게 고려  

  • Level 1: \(Y_{ij} = \beta_{0j} + \beta_{1j}X_{ij}+ \epsilon_{ij} \quad \epsilon_{ij}\sim N(0,\sigma^2)\)

  • Level 2 Intercept: \(\beta_{0i} = \gamma_{00} + u_{0j} \quad u_{0j} \sim N(0,\tau_{00})\)

  • Level 2 Slope: \(\beta_{1j} = \gamma_{10}\)

• Fixed Effect: \(\gamma_{00}\) = average outcome for sample of groups, \(\gamma_{10}\) = average individual effect (slope) on outcome  

• Random Effect: \(\epsilon_{ij}\) = residuals, \(u_{0j}\) = unique effect of group j on average outcome  

Model 3. One-Way ANCOVA (Cont’d)

• level-1 predictor(s) 도입하려면, 아래와 같은 문제에 대해 결정해야 함.

1. Whether to introduce random coefficients
2. Whether to center or transform the level-1 predictor (Module III 참고)

• 일반적으로 ANCOVA에서는 Grand Mean Centering을 적용 Covariate 는 Level-1 종속변수와 영향을 주지만 Level-2 를 구성하는 집단(학교)에 따라 개인들의 Covariate 값이 다를 수 있기 때문에

• Grand-mean Centering 후 모형 추정  

data_merged <- data_merged %>% 
  mutate(ses_grandmc = ses - mean(ses))

model3 <- lmer(mathach ~ ses_grandmc + (1 | id), data=data_merged)
icc(model3)

# the individual random effects (level 2 residuals of the intercept, i.e. the υ0i)
ranef(model3)
ranova(model3)

## Use BruceR package
HLM_summary(model3,test.rand = T, digits = 3)

# lrtest
anova(model1, model3)

Model 3. One-Way ANCOVA (Cont’d)

Model 3. One-Way ANCOVA (Cont’d)

• 두개의 고정효과 값 추정: \(\gamma_{00}\) = 12.658, \(\gamma_{10}\) = 2.390

• SES = 0인 사람들에 대한 수학성취도가 \(\gamma_{00}\)=12.658으로 추정되는데 평균 SES의 성적

• Level 1 독립변수에 의해서 설명되는 Level 1 분산의 비율 \[ R^2_{Level-1} = \frac{\sigma^2_{\epsilon_1} - \sigma^2_{\epsilon_2}}{\sigma^2_{\epsilon_1}} = \frac {39.148 - 37.034}{39.148} = 0.054 \]

• Level 1 독립변수에 의해서 설명되는 전체 분산의 비율 \[ R^2_{tot} = \frac{(\sigma^2_{v_01}+\sigma^2_{\epsilon_1}) - (\sigma^2_{v_02}+\sigma^2_{\epsilon_2})}{\sigma^2_{v_01}+\sigma^2_{\epsilon_1}} = \frac {(8.553+39.148) - (4.768+37.034)}{(8.553+39.148)} = 0.124 \]

• Students’ SES explained 12% of the total variance in math achievement. (ICC보다 설명된 분산에 해당하는 값을 제시하는 것이 HLM을 정당화하기에 더 적절할 수 있음)

• \(\bar{X_{.j}}\): Group Mean, \(\bar{X_{..}}\): Grand Mean  

\[\beta_{0j} = u_j - \beta_{1j}(\bar{X}_{.j} - \bar{X}_{..})\]

• Grand-mean centered 모형에서 절편은 각 집단의 평균에서 predictor의 집단평균과 전체평균의 편차를 반영한 adjustment 를 뺀 값

Model 3. One-Way ANCOVA: Visulization

Model 3. One-Way ANCOVA: Visulization

Model 4. Random-Coefficient Model

• Level-1의 절편과 기울기 모두를 random하게 변화하도록 모델링하지만 그러나 절편과 기울기의 random성에서 기인하는 구체적 variation에 대한 예측이나 모델링은 하지 않음 (hence “unconditional” model (NOT fully !))

• 목적: To investigate whether effects of level-1 predictors vary between level-2 units  

e.g. SES에 의한 학생들간 수학 성취도 수준 차이가 학교별로 서로 다르게 나타나는가?

• level-1 predictors should be group-mean centered

  • Level 1: \(Y_{ij} = \beta_{0j} + \beta_{1j}X_{ij}+ \epsilon_{ij} \quad \epsilon_{ij}\sim N(0,\sigma^2)\)

  • Level 2 intercept: \(\beta_{0i} = \gamma_{00} + u_{0j} \quad u_{0j} \sim N(0,\tau_{00})\)

  • Level 2 slope: \(\beta_{1j} = \gamma_{10} + u_{1j} \quad u_{1j} \sim N(0,\tau_{11})\)

• \(\beta_{0j}\): 집단 j의 절편, \(\beta_{1j}\): 집단 j의 기울기

• \(\gamma_{00}\): Level-2 집단들의 평균 절편, \(\gamma_{10}\): Level-2 집단들의 평균 기울기  

• 해석: \(\tau_{00}\) 값이 크다면 학교 간 수학성취도 평균에 격차가 큼, \(\tau_{11}\)의 값이 크다면 학교에 따라 가정배경(SES)으로 학생들의 수학성취도가 차별되는 수준에 큰 차이가 있다는 것, \(\tau_{01}>0\)이러면 학교 평균(\(\beta_{0j}\))이 높은 학교에서 SES 에 의한 차별효과(\(\beta_{1j}\))가 더 큰 것이고 음수면 그 반대이다.

Model 4. Random-Coefficient Model (Cont’d)

\[Var(\left[\begin{array}{cc} u_{0j} \\ u_{1j} \\ \end{array} \right])= \left[\begin{array}{cc} \tau_{00} & \tau_{01} \\ \tau_{01} & \tau_{11} \\ \end{array} \right] = \mathrm{T}\]

• \(Var(u_{0j})\) = \(\tau_{00}\) = unconditional variance in level-1 intercepts

• \(Var(u_{1j})\) = \(\tau_{11}\) = unconditional variance in level-1 slopes

• \(Cov(u_{0j},u_{1j})\) = \(\tau_{01}\) = \(\rho_{01}\) = unconditional variance between level-1 intercepts and slopes (association between mean school achievement and SES effect on achievement)  

data_merged <- data_merged %>% 
  group_by(id) %>% 
  mutate(meanses = mean(ses),
         ses_groupmc = ses - meanses)

model4 <- lmer(mathach ~  ses_groupmc + (ses_groupmc | id), data=data_merged)
model4_alt <- lmer(mathach ~  ses_groupmc + (1 | id), data=data_merged)
icc(model4)

# the individual random effects (level 2 residuals of the intercept, i.e. the υ0i)
ranef(model4)
ranova(model4)

## Use BruceR package
HLM_summary(model4,test.rand = T, digits = 3)

# lrtest for coefficient randomness
anova(model4, model4_alt)

Model 4. Random-Coefficient Model (Cont’d)

Model 4. Random-Coefficient Model (Cont’d)

1. Fixed effects:

   • \(\hat{\gamma_{00}}\) = 12.64 (the average school mean)
   • \(\hat{\gamma_{10}}\) = 2.19 (the average SES-achievement)  

2. Random effects

   • Level 1: \((\sigma^2)\) = 36.70

   • \(Var(u_{0j})\): The estimated variance among the means

   • Level 2 intercept: \((Var(u_{0j})=\tau_{00})\) = 8.681

   • \(Var(u_{1j})\): The estimated variance of slopes

   • Level 2 slope: \((Var(u_{1j})=\tau_{11})\) = 0.69

   • Range of plausible values:   \[Intercept: 12.64 \pm 1.96\sqrt{8.68},\quad Slope: 2.193 \pm 1.96\sqrt{0.69}\]

3. Variance Explained (at level 1): explains 6.3% of level-1 variance \[\frac{\hat{\sigma}(Random\,ANOVA)-\hat{\sigma}(SES)}{\hat{\sigma}(Random\,ANOVA)} =\frac{39.148- 36.70019}{39.148} = 0.063\]

Model 4. Random-Coefficient Model: Visulization

Model 4. Random-Coefficient Model: Visulization

Model 5-1. Intercepts-as-Outcomes Model

• Intercepts-as-Outcomes의 경우 Random-effects ANCOVA with Level-2 predictor 혹은 Contextual Effect Model로 볼 수 있음

1. Random-effects ANCOVA with Level-2 predictor

   • 기본적으로는 Model 3와 동일하며, Level-2 predictor가 추가적으로 투입되어 추정이 이루어짐

   • level-1 covariate 는 fixed effects (i.e., assuming that the effects of these covariates are the same for all schools) 일수도 random effects (i.e., assuming that the effects of level 1 variables vary across schools) 일수도 있음

   • i.e. with a random intercept, and with or without a random slope

   • Level 1: \(Y_{ij} = \beta_{0j} + \beta_{1j}X_{ij}+ \epsilon_{ij} \quad \epsilon_{ij}\sim N(0,\sigma^2)\)

   • Level 2: \(\beta_{0i} = \gamma_{00} + \gamma_{01}Z_j + u_{0j},\, \beta_{1j} = \gamma_{10} \quad u_{0j} \sim N(0,\tau_{00})\)

   • Fixed Effect: \(\gamma_{00}\) = average outcome for sample of groups, \(\gamma_{01}\) = average group effect (intercept) on outcome, \(\gamma_{10}\) = average individual effect (slope) on outcome  

   • Random Effect: \(\epsilon_{ij}\) = residuals, \(u_{0j}\) = unique effect of group j on average outcome

Model 5-1. Intercepts-as-Outcomes Model (Cont’d)

1. Random coefficient not included

   • Level 1: \(Y_{ij} = \beta_{0j} + \beta_{1j}SES_{ij}+ \epsilon_{ij} \quad \epsilon_{ij}\sim N(0,\sigma^2)\)

   • Level 2 intercept: \(\beta_{0i} = \gamma_{00} + \gamma_{01}SECTOR_j + u_{0j} \quad u_{0j} \sim N(0,\tau_{00})\)

   • Level 2 slope: \(\beta_{1j} = \gamma_{10}\)  

2. Random coefficient included

   • Level 1: \(Y_{ij} = \beta_{0j} + \beta_{1j}SES_{ij}+ \epsilon_{ij} \quad \epsilon_{ij}\sim N(0,\sigma^2)\)

   • Level 2 intercept: \(\beta_{0i} = \gamma_{00} + \gamma_{01}SECTOR_j + u_{0j} \quad u_{0j} \sim N(0,\tau_{00})\)

   • Level 2 slope: \(\beta_{1j} =\gamma_{10} + u_{1j} \quad u_{1j} \sim N(0,\tau_{11})\)

Model 5-1. Intercepts-as-Outcomes Model (Cont’d)

• Random coefficient not included

## Random-effects ANCOVA with Level-2 predictor

# without random coefficient
model5 <- lmer(mathach ~  ses + sector + (1 | id), data=data_merged)
icc(model5)

# the individual random effects (level 2 residuals of the intercept, i.e. the υ0i)
ranef(model5)
ranova(model5)

## Use BruceR package
HLM_summary(model5,test.rand = T, digits = 3)

• Random coefficient included

# with random coefficient

model6 <- lmer(mathach ~  ses + sector + (ses | id), data=data_merged)
icc(model6)

# the individual random effects (level 2 residuals of the intercept, i.e. the υ0i)
ranef(model6)
ranova(model6)

## Use BruceR package
HLM_summary(model6, test.rand = T, digits = 3)

Model 5-1. Context effect model

2. Context effect model

• Context effect: a group-level effect above and beyond the individual level effect

  • \(\beta_w\): Difference in Y between two student within same school

  • \(\beta_b\): Difference in mean of Y (\(\bar{Y}\)) between two schools

  • \(\beta_c = \beta_b - \beta_w\) : Difference in between two students who have the same individual SES, but who attend schools that differ by one unit of mean SES

Model 5-1. Context effect model (Cont’d)

• 개구리-연못 이론 (Davis, 1966): Social Comparison theory에 기반
  • 조직연구에서 개인수준의 변수를 조직 또는 집단의 수준에서 aggregate 했을 때 가중되는 효과
  • 지금까지는 학생들의 SES의 수학성취도에 대한 영향을 Level-1 equation에서 학교의 영향과 상관없이 고려하였으나, 실제는 어떤 학교에서 학습은 영향 (e.g. Peer Effects, Proxy for other variable not in model)

Model 5-1. Context effect model (Cont’d)

Model 5-1. Context effect model (Cont’d)

• 일반적으로 Group-mean Centering을 적용함

  • Level 1: \(Y_{ij} = \beta_{0j} + \beta_{1j}(X_{ij}-\bar{X_j})+ \epsilon_{ij} \quad \epsilon_{ij}\sim N(0,\sigma^2)\)

  • Level 2 intercept: \(\beta_{0i} = \gamma_{00} + \gamma_{01}\bar{X_j} + u_{0j} \quad u_{0j} \sim N(0,\tau_{00})\)

  • Level 2 slope: \(\beta_{1j} = \gamma_{10} + u_{1j} \quad u_{1j} \sim N(0,\tau_{11})\)

• Group-mean Centering을 선택하면 \(X_{ij}\)와 \(Y_{ij}\)의 관계는 집단 내와 집단 간 영향으로 구분되어지는데, 이를 분리하기 위한 contextual effect를 추가하여 완전한 집단 내 영향으로 추정

## Contextual Effect
model7 <- lmer(mathach ~ ses_groupmc + meanses + (1 | id), data = data_merged, REML = TRUE)
icc(model7)
summary(model7)

# the individual random effects (level 2 residuals of the intercept, i.e. the υ0i)
ranef(model7)
ranova(model7)

## Use BruceR package
HLM_summary(model7,test.rand = T, digits = 3)

# LRtest
anova(model3, model7)

Model 5-1. Context effect model (Cont’d)

Centering

• 일반적인 회귀분석에서 변수를 중심화하는 경우는 대부분 상호작용 효과를 분석할 때이다. 그리고 이 때 변수를 중심화하는 것은 절편(intercept)을 의미있는 값으로 해석하기 위해서, 그리고 다중공선성(multicollinearity)의 문제를 해결하기 위해서 사용됨

• Raudenbush and Bryk(2002): 변수 중심화는 1) 절편의 의미, 2) 독립변수 추정치의 의미, 3) 추정치의 수치적 안정성(numerical stability)에 영향

• Centering을 하지 않은 모형: \(Y_{ij} = \beta_{0j} + \beta_{1j}X_{ij} + r_{ij}\)

• e.g. \(X_{ij}\) = previous math achievement, 절편은 0일때의 기대값, 현실적으로 해당 변수가 0이 될 수 있는가?

• 변수 중심화의 두가지 유형

  • Grand mean centering (전체 평균 중심화): \(Y_{ij} = \beta_{0j} + \beta_{1j} (X_{ij}-\bar{X_{..}}) + \epsilon_{ij}\)
    • when expected value of \(Y_{ij}\) when \(X_{ij}\) = \(\bar{X_{..}}\)
    • \(\beta_{ij}\) (절편) = The mathach of the “average student” in school j
  • Group mean centering (집단 평균 중심화): \(Y_{ij} = \beta_{0j} + \beta_{1j} (X_{ij}-\bar{X_{.j}}) + \epsilon_{ij}\)
    • when expected value of \(Y_{ij}\) when \(X_{ij}\) = \(\bar{X_{.j}}\)
    • \(\beta_{ij}\) (절편) = The mathach of the “average student” in the all sample of schools
    • 어느 학교에서든 \(\bar{X_{..}}\)인 값들은 서로 같음

Grand-mean Centering & Group-mean Centering (Cont’d)

Grand-mean Centering & Group-mean Centering (Cont’d)

Model 5-2. Slopes-as-Outcomes Model

• intercepts and slopes are conditioned by level-2 predictors (따라서, 집단평균 중심화)

  • Estimation techniques similar to previous models except estimates are conditioned

• 목적: What level-2 factors predict differences in slopes between level-2 groups?

  • RQ: (e.g. whether variation in SES effects across schools can be attributed to the type of school – public vs Catholic)

• 모형

  • Level 1 Model: \(Y_{ij} = \beta_{0j} + \beta_{1j}X_{ij} + \epsilon \quad \epsilon \sim N(0,\sigma^2)\)
  • Level 2 Model (intercept): \(\beta_{0j} = \gamma_{00} + \gamma_{01}Z_{j} + u_{0j} \quad u_{0j}\sim N(0,\tau_{00}^2)\)
  • Level 2 Model (slope): \(\beta_{1j} = \gamma_{10} + \gamma{11}Z_{j} + u_{1j} \quad u_{1j} \sim N(0,\tau_{11}^2)\)

• Overall Model Example: (intercept + fixed + random)

  • intercept: \(\beta_{0j} + \gamma_{00}\)

  • fixed effect: \(\gamma_{01}(SECTOR_{j}) + \gamma_{10}(SES_{ij}) +\gamma_{11} (SECTOR_j)(SES_{ij})\)

  • random effect: \(u_{1j}(SES_{ij}) + u_{0j} + \epsilon_{ij}\)

• 장점: allows us to explain the variation in both intercepts and slopes

• HLM의 최종 목적인 모형이며, 가장 어려운 모형이기도 하다.

Model 5-2. Slopes-as-Outcomes Model (Cont’d)

• Random coefficient included

## with random coefficient
model8 <- lmer(mathach ~ ses_groupmc * sector + (ses_groupmc | id), data = data_merged, REML = FALSE)

summary(model8)
icc(model8)

# the individual random effects (level 2 residuals of the intercept, i.e. the υ0i)
ranef(model8)
ranova(model8)

## Use BruceR package
HLM_summary(model8, test.rand = T, digits = 3)

• Random coefficient not included

## without random coefficient
model9 <- lmer(mathach ~ ses_groupmc * sector + (1 | id), data = data_merged, REML = FALSE)

summary(model9)
icc(model9)

# the individual random effects (level 2 residuals of the intercept, i.e. the υ0i)
ranef(model9)
ranova(model9)

## Use BruceR package
HLM_summary(model9, test.rand = T, digits = 3)

# LRtest
anova(model8, model9) # with randomness is better

Model 5-2. Slopes-as-Outcomes Model (Cont’d)

Model Specification Summary

Model Specification Summary (Cont’d)

참고: R vs. STATA (Summary & Fit Statistics)

참고: R vs. STATA (Fixed Effects)

참고: R vs. STATA (Random Effects)

참고: REML vs. MLE

• REML vs. MLE
  • REML이 Mixed Effect 모형 추정시 default 추정 방법
  • REML이나 MLE나 비슷한 회귀계수를 추정함
  • REML과 MLE의 경우 variance component 추정에서 차이가 존재
  • Level-2 unit들의 수가 적을때, MLE 분산에 대한 추정치가 REML보다 작게 계산되고, 결과적으로 좁은신뢰 구간과 biased된 유의성 검정으로 이어짐
• Likelihood Ratio test for nested models로 검정
  • 표본의 수가 작은 경우에 REML 사용을 통해 MLE를 보정, 표본의 수가 충분히 많을 경우 MLE
  • 만약 두 모형의 fixed effect들의 값이 동일하고, random effect의 값이 적다면 REML과 MLE는 혼용가능
  • 만약 두 모형의 fixed effect들의 값이 다르고, random effect의 값이 적다면 MLE를 사용해야 함
  • 현실적으로는 수준 간 상호작용 같은 경우 MLE 사용 - estimation 속도